最近的作品研究了在神经切线内核(NTK)制度中训练的广泛神经网络的理论和经验特性。鉴于生物神经网络比其人工对应物宽得多,因此我们认为NTK范围广泛的神经网络是生物神经网络的可能模型。利用NTK理论,我们从理论上说明梯度下降驱动层的重量更新与其输入活动相关性一致,并通过误差加权,并从经验上证明了结果在有限宽度的宽网络中也存在。对齐结果使我们能够制定一个生物动机的,无反向传播的学习规则,理论上等同于无限宽度网络中的反向传播。我们测试了馈电和经常性神经网络中基准问题的这些学习规则,并在宽网络中证明了与反向传播相当的性能。所提出的规则在低数据制度中特别有效,这在生物学习环境中很常见。
translated by 谷歌翻译